毕彦超课题组在《Cerebral Cortex》发表论文揭示词汇语义不同类型计算关系的神经机制
正常成年人类的大脑中存储了数以万计的词汇,这些词汇使得我们可以正确命名物体,组织句子,并进一步产生抽象思维。虽然人类可以通过感知觉经验之外的语言经验获得知识逐渐成为学界共识,但现有研究对人脑如何提取和组织语言、形成知识仍然知之甚少。其中一种可能是,人脑与现有文本语言计算模型类似,可以从既往的语言经验提取概念间关系形成语义表示。
毕彦超教授课题组于2022年在Cerebral Cortex发表了题为“Different computational relations in language are captured by distinct brain systems”的研究论文。该研究结合大规模文本语言模型和基于功能磁共振成像的神经表征相似性分析手段,系统探索了不同类型的词汇语义关系在大脑中的计算机制。
该研究系统对比了三种主要的词汇语义关系计算模型(简单词汇共现,基于共现图网络的图论距离,以及神经网络训练、向量嵌入的空间距离)在捕捉词汇加工任务的神经活动上的表现和模式差异(图1),进而考察大脑概念加工模式与语言模型语义表示的对应关系。研究结果发现,基于共现图网络的图论距离计算模型,相比于简单共现和向量嵌入的空间距离,更好地捕捉了大脑在词汇意义处理时的神经表征。相关模型和语言敏感的脑区有一定系统的映射,表现为背侧颞叶前部表征词汇间的共同邻居相似度,左侧额下回和左侧颞中回后部表征词汇间的最短路径距离(图2)。相似的视觉计算模型不能解释颞叶前部、中部与额叶脑区的神经活动,而能解释图片命名任务中视觉皮层(海马旁回)的神经活动(图3),进一步说明语义关系计算在大脑中的实现是特异于经验类型(语言vs. 感觉)的。
图1 基于语言的不同语义计算关系模型的建构及模型间相关结果。
图2 基于共现图网络的拓扑距离(共同邻居、最短路径)独特预测词汇在语言加工脑区的神经活动模式。
图3 基于视觉共现关系(共同邻居)的语义表征在视觉皮层场景区有独特效应,而不能解释语言加工区语义计算模型的效应,暗示基于视觉与语言计算关系的脑区分离。
本研究发现人脑语言加工系统更偏向于基于图的拓扑关系来加工语义经验中的概念关系,对人类是否以及如何从长期语言经验转化为词汇的意义表征提供了理论和计算上的解释,对未来神经计算和人工智能应用有启示作用。北京师范大学毕彦超课题组博士生付泽为第一作者,通讯作者为毕彦超教授。研究与北京师范大学系统科学学院廖旭红副教授、清华大学计算机科学与技术系刘知远副教授、清华大学新闻与传播学院陈慧敏博士后合作完成。该研究得到了国家自然科学基金委、北京师范大学等单位的经费支持。
Ze Fu, Xiaosha Wang, Xiaoying Wang, Huichao Yang, Jiahuan Wang, Tao Wei, Xuhong Liao, Zhiyuan Liu, Huimin Chen, Yanchao Bi, Different computational relations in language are captured by distinct brain systems, Cerebral Cortex, 2022; bhac117
全文链接:https://doi.org/10.1093/cercor/bhac117